机器学习毕业项目--猫狗大战¶
沈平岗 2019年1月22日
I.项目说明¶
包括项目的要求、项目概述、问题叙述、评论指标的相关说明
项目概述¶
本项目将使用卷积神经网络（Convolutional Neural Networks, CNN）为模型。卷积神经网络是是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一。对卷积神经网络的研究始于二十世纪80至90年代，时间延迟网络和LeNet-5是最早出现的卷积神经网络；在二十一世纪后，随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被大量应用于计算机视觉、自然语言处理等领域。
本项目采用kaggle 提供数据集。使用keras构建模型进行训练，对测试数据进行分类。并将最终结果上传到kaggle 进行最终评分。
项目中会运用迁移学习提高学习精度。主要使用resnet50，xception，inceptionV3 提取特征向量，通过提取的特征向量构建神经网络进行训练。
项目同时会采用部署网页应用，采用Flask搭建一个简单的图像识别应用。通过上传图片，识别图片中动物的类型。是猫还是狗。
数据集下载地址：https://www.kaggle.com/c/dogs-vs-cats-redux-kernels-edition/data
问题叙述¶
数据集中异常图片的剔除。数据集中存在部分异常图片或模糊不清、分辨率不高的图片。在训练数据中需要识别并进行删除。
训练数据集中。train目录中以 type.num.jpg 做为文件名，如：dog.11956.jpg 。在keras中，不同类型的图片需要用不同目录名进行存放。
图片大小处理。提供的数据集中图片大小各不相同，在做网络训练时需要对图片大小做处理。
评价指标¶
交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。是分类问题中广泛使用的一种损失函数。
该项目是一个二分类问题，因此可以采用 logloss 损失函数作为评价指标。其公式如下：
$$LogLoss = -\frac{1}{n}\sum_{i=1}^{n}[y_ilog(\hat{y_i}) + (1 - y_i)log(1 - \hat{y_i})]$$交叉熵损失越小，代表模型的性能越好。采用交叉熵作为损失函数可以有效的解决梯度消失和梯度爆炸的问题。
II.项目分析¶
项目分析中主要包含对数据的探索、探索性可视化、算法和技术、基准模型
数据的探索¶
下载的kaggle数据集中解压后包含3个文件：train.zip、test.zip、sample_submission.csv 。
其中：
train.zip 为训练数据集。包含了猫和狗的训练数据集合。总共 25,000 图片
test.zip 为测试数据。没有标定图片是猫、还是狗。以数字命名，从1开始。总共 12,500 图片
sample_submission.csv 为提交样本。需要将测试数据集的结果导入到样本中，然后提交给kaggle、其中预测为狗则为1、猫为0.
# 导入相关库
import os
import cv2
import numpy as np
from keras.preprocessing import image
from matplotlib import pyplot as plt
%matplotlib inline
# 定义当前数据集所在的路径(绝对路径)
train_dir = '/data/dogs_vs_cats/data/train/'
test_dir = '/data/dogs_vs_cats/data/test/'
# 输出train数据集中 cat 和 dog 各自的图片数量
cat_counts = 0
dog_counts = 0
for file_name in os.listdir(train_dir):
# 如果是目录则跳过
path = os.path.join(train_dir,file_name)
if os.path.isfile(path):
if file_name[:3] == 'cat':
cat_counts += 1
elif file_name[:3] == 'dog':
dog_counts += 1
print("cat images : {}".format(cat_counts))
print("dog images : {}".format(dog_counts))
# 定义 train 数据集中图片的数量
train_images_counts = 25000
# 定义 test 数据集中图片的数量
test_images_counts = 12500
# 绘制统计图
plt.figure(figsize=(12,6))
# 绘制train数据集中猫和狗各自的数量
plt.subplot(1,2,1)
plt.bar(np.arange(1,3),[cat_counts,dog_counts],color='rgb')
plt.text(1,cat_counts-1000,str(cat_counts),fontsize=16,ha='center')
plt.text(2,dog_counts-1000,str(dog_counts),fontsize=16,ha='center')
plt.xticks(np.arange(1,3), ['cat','dog'],fontsize=16)
plt.ylabel("counts")
plt.title("numbers of cats and dogs")
# 绘制train和test数据集中各自的图片数量
plt.subplot(1,2,2)
plt.bar(np.arange(1,3),[train_images_counts,test_images_counts],color='rgb')
plt.text(1,train_images_counts-1600,str(train_images_counts),fontsize=16,ha='center')
plt.text(2,test_images_counts-1600,str(test_images_counts),fontsize=16,ha='center')
plt.xticks(np.arange(1,3), ['train','valid'],fontsize=16)
plt.ylabel("counts")
plt.title("numbers of train and test")
plt.show()
由统计图可以看出，当前提供的数据集中，train数据集中猫和狗的图片数量一样，都是12500。（当前未做数据预处理）
# 根据提供的图片，转换成可以在matplotlib显示的对象
def cv_read_image(img_path):
'''input : <image_path> 图片的绝对路径
return : 可在matplotlib中显示的图片对象
'''
# 加载图片
img = cv2.imread(img_path)
# 将opencv中的BGR、GRAY格式转换为RGB，使matplotlib中能正常显示opencv的图像 并返回
return cv2.cvtColor(img,cv2.COLOR_BGR2RGB)
# 随机选取一定数量的图片进行查看
# 生成随机数
random_img_index = np.random.choice(train_images_counts,24)
# 对随机生成的图片进行转换
random_img = list()
image_name = list()
for index in random_img_index:
name = os.listdir(train_dir)[index]
img_path = os.path.join(train_dir,name)
img = cv_read_image(img_path)
random_img.append(img)
image_name.append(name)
# 显示随机选取的图片
fig = plt.figure(figsize=(20,10))
for i in range(len(random_img)):
ax = fig.add_subplot(4,6,i+1,xticks=[],yticks=[])
ax.imshow(random_img[i])
ax.set_title(image_name[i])
plt.show()
可视化中显示的图片，可以发现图片的大小各不相同，同时有的图片存在难以分辨的问题。
根据观察，train 数据集中还同时存在部分异常图片。如以下找出的异常图片。
# 定义发现的几张异常图片
abnormal_picture = ["cat.9171.jpg",'dog.10190.jpg','dog.9188.jpg','cat.8470.jpg']
# 获取图片路径
abnormal_picture_path = [os.path.join(train_dir,name) for name in abnormal_picture]
# 显示图片
abnormal_picture_obj = [cv_read_image(image_path) for image_path in abnormal_picture_path]
fig = plt.figure(figsize=(20,10))
for i in range(len(abnormal_picture_obj)):
ax = fig.add_subplot(1,4,i+1,xticks=[],yticks=[])
ax.imshow(abnormal_picture_obj[i])
ax.set_title(abnormal_picture[i])
这里通过人眼观察发现的几张异常图片，当然实际中可能不止这几张。异常图片剔除将在数据预处理中进行发现和处理。
算法和技术¶
神经网络¶
神经网络（Artificial Neural Networks，简写为ANNs）简单理解就是一种处理信息的算法模型。该算法模型建立在数学的基础上。通过输入对应的特征向量x1、x2 等等，输出计算之后的 y 值,该项目中提供输入的“猫” 或 “狗” 的图片，图片中像素信息即是输入的X值，通过计算之后输出结果y，y即该图片是“猫” 或 “狗” 的概率。
神经网络结构¶
常见的神经网络结构通常有：
- 多层前馈神经网络
多层前馈神经网络是比较常见和使用广泛的神经网络，一个简单的多层前馈神经网络通常由输入层、隐藏层、输出层几部分组成。如下图：
- 卷积神经网络(CNN)
卷积神经网络(CNN)通常应用于计算机视觉，并在计算机视觉上取得不错的效果。卷积神经网络是在传统神经网络上的一个改进，即在传统神经网络的基础上加入卷积远算。卷积神经网络的出现，意味着可以从图片中找到更多的特征信息。
卷积神经网络包含：卷积层、激励函数、池化层、全连接层。如下图：
- 循环神经网络(RNN)
循环神经网络(RNN)通常应用于自然语言处理中。
激活函数¶
激活函数是输出结果做非线性映射。常见的激活函数主要有relu、softmax、sigmoid 等。
其中 relu 激活函数目前使用比较广泛，其中一个原因是relu激活函数可防止梯度消失，加速网络训练。公式如下：
$$Relu = max(0,x)$$softmax，sigmoid 激活函数主要用在输出层。sigmoid 激活函数常用于二分类，把输入的连续实值变换为0和1之间的输出。项目中猫狗分类即是二元分类问题，即可采用该函数。softmax 即除了可用于二分类之外，还可用于多分类。
sigmoid 激活函数公式：
$$f(s) = \frac{1}{1 + e^{-z}} $$损失函数¶
也叫成本函数，跟项目中的评价指标是同一个函数。主要用于衡量目标与预测值之间的差距。公式如下：
$$LogLoss = -\frac{1}{n}\sum_{i=1}^{n}[y_ilog(\hat{y_i}) + (1 - y_i)log(1 - \hat{y_i})]$$网络优化¶
神经网络优化可谓是一个热门的话题。优化的神经网络可加速训练，并且提升准确。网络优化常见的几种方式：设置 mini-batch 的大小、使用优化器等
- 设置 mini-batch 的大小
mini-batch 即将整个训练集切分为多个子训练集，这些子训练集取名为mini-batch。如项目中总共 25000 个训练样本，可拆成以 32 个训练样本为一个子集，总共 781 个子训练集。当然样本的数量需要根据服务器的配置而定，不易太大，也不易太小。太小则会减弱矩阵计算的优势，太大则可能导致服务器内存溢出。
- 使用优化器
常见的优化器主要有rmsporp、adam、SGD 等。神经网络中rmsprop比较常用，当然adam也比较不错，adam优化器在rmsprop的基础上加入的动量。
模型选择及技术¶
自2012年的ImageNet 比赛起，诞生了许多优秀的网络结构。其中被认可为比较优异的有：VGG，ResNet,Inception，AlexNet 等等。具体的准确表现如下图：
综合分析，每种网络模型的准确度各有不同。由于项目采用keras完成，keras支持使用迁移学习的网络模型ResNet50、VGG16、VGG19、InceptionV3、Xception。综合考虑项目采用 ResNet50 为迁移学习的基础模型，先使用resnet50提取特征向量，并构建神经网络模型进行训练。
ResNet 网络模型¶
ResNet(Residual Neural Network) 在2015年被提出，在ImageNet比赛classification任务上获得第一名，在Top5上的错误率为3.75%，同时参数数量比VGGNet低，由于Resnet的结构，极快的加速神经网络的训练，模型的准确率也有比较大的提升。因为它“简单与实用”并存，之后很多方法都建立在ResNet50或ResNet101的基础上完成的，检测，分割。
ResNet 的主要思想是在网络中添加直连通道，即Highway Network 的思想。对比此前的网络结构是做一个非线性变换，而Highway Network 则允许保留之前网络层一定比例的输出，允许原始输入信息之间传到后面的层中。如下图：
传统网络中在信息传递的时候多少会出现信息丢失，甚至随着网络的加深，出现了准确率下降，无法训练网络的情况。ResNet 在一定程度上解决了这个问题。直接将信息绕道传到输出，保护信息的完整信息性，简化学习目标和维度。其中实验证明，ResNet可以随着网络加深，准确率不下降。
基准模型¶
本项目的最低要求是 kaggle Public Leaderboard 前 10%。在 kaggle 上，总共有 1314 只队伍参加了比赛，所以需要最终的结果排在 131 位之前，131 位的得分是 0.06127，所以目标是模型预测结果要小于 0.06127。
III.方法¶
方法中主要包含对数据的预处理、执行过程、完善
构建预测模型¶
这里采用预训练模型Resnet50 和 Xception 对异常图片进行检测。选择Resnet 和 xception的原因主要在keras中这两个模型的top1和top5准确率相对较高。
（ 由于相关代码比较多，为了方便处理。将相关代码封装到 Data_preprocessing.py，Resnet50_preprocessing，Xception_preprocessing 模块中，查看详细代码可在此文件进行查看 ）
# 导入相关依赖文件。这里为自定义python文件
import Data_preprocessing
from Resnet50_preprocessing import Resnet50_preprocess
from Xception_preprocessing import Xception_preprocess
# 加载预测模型
resnet_50 = Resnet50_preprocess()
xception = Xception_preprocess()
使用模型进行检测¶
这里top定义为20，可以随时调整
# 定义top为20
top_s = 20
# 使用resnet50 进行预测
resnet50_check = Data_preprocessing.check_abnormal_picture(resnet_50,train_dir,top_s,count=100)
# 保存数据
Data_preprocessing.save_abnormal_picture("resnet50_check.txt",resnet50_check)
# 使用xception进行预测
xception_check = Data_preprocessing.check_abnormal_picture(xception,train_dir,top_s,count=100)
# 保存数据
Data_preprocessing.save_abnormal_picture("xception_check.txt",xception_check)
加载异常图片，进行可视化查看¶
对检测出异常图片进行分析。
# 加载数据预览图片，resnet50 中预测到的异常图片
resnet50_check = Data_preprocessing.read_abnormal_file('abnormal_picture/resnet50_check.txt')
Data_preprocessing.preview_pictures(resnet50_check,train_dir,img_num=0,line_num=8,fig_size=(18,210))
# 加载数据预览图片，xception 中预测到的异常图片
xception_check = Data_preprocessing.read_abnormal_file('abnormal_picture/xception_check.txt')
Data_preprocessing.preview_pictures(xception_check,train_dir,img_num=0,line_num=8,fig_size=(18,210))
Resnet 检测出116张异常图片，xception检测出128张异常图片。
可以看出resnet 和 xception 两种模型得到的异常图片，其中大部分是相同的。只有少部分不同。当然也有少量的几张图片可以通过人眼分析看出。但是对于25000张图片，可以暂时忽略。
统计去除异常数据之后的数据情况¶
# 合并 resnet 和 xception 两个模型检测的异常数据
resnet50_check.extend(xception_check)
abnormal_image = set(resnet50_check)
Data_preprocessing.save_abnormal_picture("abnormal_image.txt",abnormal_image)
# 输出train数据集中 cat 和 dog 各自的图片数量（清理数据之后）
cat_counts = 0
dog_counts = 0
for file_name in os.listdir(train_dir):
path = os.path.join(train_dir,file_name)
if os.path.isdir(path):
continue
if file_name in abnormal_image:
continue
if file_name[:3] == 'cat':
cat_counts += 1
elif file_name[:3] == 'dog':
dog_counts += 1
train_images_counts = 25000 - len(abnormal_image)
test_images_counts = 12500
print("Current dog counts: %d" %dog_counts)
print("Current cat counts: %d" %cat_counts)
print("train images counts: %d" %train_images_counts)
print("test images counts: %d" %test_images_counts)
# 绘制统计图
plt.figure(figsize=(12,6))
# 绘制train数据集中猫和狗各自的数量
plt.subplot(1,2,1)
plt.bar(np.arange(1,3),[cat_counts,dog_counts],color='rgb')
plt.text(1,cat_counts-1000,str(cat_counts),fontsize=16,ha='center')
plt.text(2,dog_counts-1000,str(dog_counts),fontsize=16,ha='center')
plt.xticks(np.arange(1,3), ['cat','dog'],fontsize=16)
plt.ylabel("counts")
plt.title("numbers of cats and dogs")
# 绘制train和test数据集中各自的图片数量
plt.subplot(1,2,2)
plt.bar(np.arange(1,3),[train_images_counts,test_images_counts],color='rgb')
plt.text(1,train_images_counts-1600,str(train_images_counts),fontsize=16,ha='center')
plt.text(2,test_images_counts-1600,str(test_images_counts),fontsize=16,ha='center')
plt.xticks(np.arange(1,3), ['train','valid'],fontsize=16)
plt.ylabel("counts")
plt.title("numbers of train and test")
plt.show()
根据统计信息可以看出。在删除异常图片之后，train 数据集为24816。cat 的图片为12379，dog的图片为12437. 总共清理了184张异常图片
准备训练数据集¶
清理出异常数据之后，重新构建train训练数据集。由于目前使用的keras框架，在keras中，不同类型的图片需要用不同目录名进行存放。
如 trian-> cat -> cat.1.jpg
这里选择在新建train，在新建的train目录下新建cat 和 dog 目录。这里采取软链接的形式进行操作。
# 新的图片数据目录
new_train_dir = '/data/dogs_vs_cats/data/new_train/'
# 剔除异常数据，对正常数据进行分类
train_cat = list()
train_dog = list()
for file_name in os.listdir(train_dir):
path = os.path.join(train_dir,file_name)
if os.path.isdir(path):
continue
if file_name in abnormal_image:
continue
if file_name[:3] == 'cat':
train_cat.append(file_name)
elif file_name[:3] == 'dog':
train_dog.append(file_name)
# 创建软链接 (注意软连接目录名可以自动创建，如果路径存在，则注意保存目录下数据。否则可能会删除目录下的文件)
Data_preprocessing.create_symlink(train_dir,new_train_dir + 'cat',train_cat)
Data_preprocessing.create_symlink(train_dir,new_train_dir + 'dog',train_dog)
执行完成之后，文件目录结构如下：
准备测试数据集¶
测试数据集跟训练数据集存储方式一样。同样是采取软连接的方式进行操作。test 数据集由于没有区分类别，所以暂时用test目录名
new_test_dir = '/data/dogs_vs_cats/data/new_test/'
Data_preprocessing.create_symlink(test_dir,new_test_dir + 'test',os.listdir(test_dir))
执行完成之后，当前数据目录情况如下图。（下图提供参考理解，可能非实际情况）
执行过程¶
（由于代码过多，这里将代码进行封装。详细的代码信息可在model_func.py 和 Data_preprocessing.py 文件进行查看）
数据增强¶
数据增强是指在原有的数据集上采用旋转、移动、翻转等相关手段对图片进行预处理。使用数据增强模式可以提供模型的泛化能力和提高模型的鲁棒性。
数据增强相关参考：https://blog.csdn.net/zhelong3205/article/details/81810743
在keras中提供 ImageDataGenerator 方法对图片数据进行预处理。可以使用该方法进行数据增强、缩放等预处理.
ImageDataGenerator 参考链接：https://keras.io/preprocessing/image/#imagedatagenerator-class
模型只有在训练过程中才需要使用数据增强，测试数据集中只需要对图片进行比例缩放即可。按比例缩放是对图片进行归一化处理，提供模型训练收敛。
from Data_preprocessing import Data_Generator
target_size = (224,224)
batch_size = 16
# 训练数据集进行数据增强模式
train_generator = Data_Generator(new_train_dir,target_size,batch_size,True)
# 测试数据集进行比例缩放
test_generator = Data_Generator(new_test_dir,target_size,batch_size,False)
使用resnet50提取特征向量¶
基于keras提供resnet50，采用迁移学习的方式构建和训练网络。在resnet50中提供了预训练的‘imagenet’权重模型。该模型包括了预先训练的1000个类，其中包括猫和狗。可在此基础上进行特征向量提取，并通过提取的特征向量构建网络进行训练。
使用预训练网络的bottleneck特征，可以快速提高准确率，节省缩短时间。
# 导入相关依赖包
from keras.models import Model
from keras.engine.input_layer import Input
from keras.applications.resnet50 import ResNet50
from keras.layers import Dense,Dropout,Flatten
from keras.callbacks import ModelCheckpoint
from keras.utils import plot_model
from model_func import save_bottlebeck_features,get_bottlebeck_features
from model_func import plot_train_accuracy_and_loss
# 特征向量保存文件
resnet_bottlebeck_features = 'bottlebeck_features/resnet50_bottlebeck_features.h5py'
resnet_shape = (224,224,3)
batch_size = 16
target_size = (224,224)
# 保存特征向量
save_bottlebeck_features(input_shape=resnet_shape,
train_gen=train_generator,
test_gen=test_generator,
application_model=ResNet50,
file_name=resnet_bottlebeck_features)
加载特征向量¶
X_train,X_test,y_train = get_bottlebeck_features([resnet_bottlebeck_features])
print("train shape:{}".format(X_train.shape))
print("test shape: {}".format(X_test.shape))
print("lable shape:{}".format(y_train.shape))
构建模型¶
根据提取的特征向量可以看出属于二维向量，可构建全连接网络进行训练。
模型采用 rmsprop 优化器、binary_crossentropy 损失函数。
rmsprop 为神经网络较为适用的优化器。当然也有其他比较优秀的优化器，如：adam、SGD 等等。优化器选择可以参考：https://www.cnblogs.com/guoyaohua/p/8542554.html
binary_cross_entropy是二分类的交叉熵，实际是多分类softmax_cross_entropy的一种特殊情况，当多分类中，类别只有两类时，即0或者1，即为二分类，二分类也是一个逻辑回归问题，也可以套用逻辑回归的损失函数。
input_layer = Input(X_train.shape[1:])
model = input_layer
model = Dropout(0.5)(model)
model = Dense(512,activation='relu')(model)
model = Dropout(0.5)(model)
model = Dense(1,activation='sigmoid')(model)
model = Model(input_layer,model)
model.compile(optimizer='rmsprop',loss='binary_crossentropy', metrics=['accuracy'])
model.summary()
训练模型¶
定义训练的轮数为30，并保存最佳训练模型
epochs = 30
resnet50_checkpoint = ModelCheckpoint(filepath="model/resnet50_dogs_vs_cats_best_model.hdf5",
verbose=1,save_best_only=True)
history = model.fit(X_train,y_train,
batch_size=32,
epochs=epochs,
verbose=1,
callbacks=[resnet50_checkpoint],
validation_split=0.2)
# 绘制 accuracy 和 loss 曲线
plot_train_accuracy_and_loss(history)
使用其他模型提取特征向量¶
这里将采用keras 提供的resnet50、xception、InceptionV3 三种比较常见的神经网络构建模型，利用三种网络模型进行特征向量提取，将提取的特征向量进行组合训练。以此提高 accuracy 和降低 loss 。
# 特征向量保存文件
InceptionV3_bottlebeck_features = 'bottlebeck_features/InceptionV3_bottlebeck_features.h5py'
xception_bottlebeck_features = 'bottlebeck_features/xception_bottlebeck_features.h5py'
# 使用InceptionV3提取瓶颈特征
from keras.applications.inception_v3 import InceptionV3
inception_shape = (299,299,3)
batch_size = 16
target_size = (299,299)
# 训练数据进行增强处理
inception_train_generator = Data_Generator(new_train_dir,target_size,batch_size,True)
# 测试数据进行缩放比例[0，255]
inception_test_generator = Data_Generator(new_test_dir,target_size,batch_size,False)
save_bottlebeck_features(input_shape=inception_shape,
train_gen=inception_train_generator,
test_gen=inception_test_generator,
application_model=InceptionV3,
file_name=InceptionV3_bottlebeck_features)
# 使用xception提取瓶颈特征
from keras.applications.xception import Xception
xception_shape = (299,299,3)
batch_size = 16
target_size = (299,299)
# 训练数据进行增强处理
xception_train_generator = Data_Generator(new_train_dir,target_size,batch_size,True)
# 测试数据进行缩放比例[0，255]
xception_test_generator = Data_Generator(new_test_dir,target_size,batch_size,False)
save_bottlebeck_features(input_shape=xception_shape,
train_gen=xception_train_generator,
test_gen=xception_test_generator,
application_model=Xception,
file_name=xception_bottlebeck_features)
加载特征向量¶
from model_func import get_bottlebeck_features
features_list = [resnet_bottlebeck_features,InceptionV3_bottlebeck_features,xception_bottlebeck_features]
X_train,X_test,y_train = get_bottlebeck_features(features_list)
print("train shape : {}".format(X_train.shape))
print("test shape : {}".format(X_test.shape))
print("label shape : {}".format(y_train.shape))
创建模型¶
这里模型需要重新创建。原因是采用InceptionV3、 xception、resnet50 进行特征提取之后。提取特征向量输出层的shape不在是(1,2048)，而是(1,6144)。这里模型需要重新创建，指定输入层shape为(1,6144)。
提取特征向量之后，构建神经网络。神经网络中使用relu、sigmoid 作为激活函数，rmsprop 为优化器，dropout为0.5。输出一个零维张量，表示某张图片中有狗的概率。损失函数为 binary_crossentropy。
from model_func import create_model
model = create_model(X_train,drop_out=0.5,optimizer='rmsprop')
model.summary()
训练模型¶
对构建的模型进行训练，指定训练轮数为30,batch_size为32，验证数据百分数为0.2
from model_func import train_model
epochs=25
valid_split = 0.2
checkpoint = 'model/dogs_vs_cats_best_model.hdf5'
history = train_model(model,X_train,y_train,checkpoint,
batch_size=32,n_epochs=epochs,verbose=2,valid_split=valid_split)
绘制准确率和损失曲线¶
from model_func import plot_train_accuracy_and_loss
plot_train_accuracy_and_loss(history)
由图可以看出准确率比较高。基本上在0.99以上，平均稳定在0.990到0.995之间。与此对应的loss ,平均稳定在 0.075 和 0.025之间
预测图片¶
根据kaggle中项目的要求，将测试数据集的结果保存到csv文件中，并上传评分。
# 加载最佳模型
model.load_weights(checkpoint)
# 对测试数据进行预测，保存预测结果
predict_value = model.predict(X_test,verbose=1)
# 剪辑出区间值。
predict_value = predict_value.clip(min=0.005,max=0.995)
from model_func import save_csv
save_csv(predict_value,test_generator,csv_file='/data/sample_submission.csv',
pred_file='predict_dogs_vs_cats.csv')
将保存在当前目录下 predict_dogs_vs_cats.csv 文件上传到kaggle，并获取得分
完善¶
异常数据的清理，可适当的增加或减少top值，也许可以清理出更多的异常图片。当然还可以加入 InceptionV3，使用InceptionV3 与目前的resnet50、xception 一起进行数据清理。也许可以清理出更多的异常图片。
尝试使用adam优化器。Adam优化器是目前比较热门的一种优化算法。关于它的相关资料可参考该博客
在原先resnet50的基础上尝试其他方法来获取精度。如采用迁移学习的另一种方式，在resnet50的基础上，删除全连接层，根据需要构建全连接层，然后训练整个神经网络，通过此方式也可提高模型的精度。也是一种方法。
IV.结果¶
模型评价与验证¶
模型训练 accuracy 和 loss 曲线¶
plot_train_accuracy_and_loss(history)
- 根据模型的输出和 accuracy 、loss 曲线图。模型训练和验证 accuracy 平均维持在0.990～0.995左右，验证和训练 loss 在0.075～0.025 左右。相对还是比较高。
kaggle 得分¶
从上获取到的评分为：，已经达到目标要求。
合理性分析¶
通过迁移学习可以将快速的提高模型精度。这里先采取了resnet50 模型进行特征提取。获得最佳accuracy 和 loss 分别是：
Total params: 1,049,601
loss：0.6634 validaction loss：0.6507
仅采用resnet50获取到的精度并不理想，这里结合额外的两种模型 InceptionV3 和 xception 共同提取特征向量。获取到的模型精度为：
Total params: 3,146,753
loss：0.2119 validaction loss：0.0225
采用xception、inception、resnet50 组合提取特征向量。效果比仅使用resnet50要好。更多的层数，不同的卷积核提取特征，可以更好的抽取图片中的泛化特征，这样既可以提高分类的准确率，又可以降低模型的过拟合风险
V.项目结论¶
结果可视化¶
加载最佳模型，使用最佳模型对图片进行预测，输出预测结果
# 抽取随机数,从测试集中随机抽取图片
random_index = np.random.choice(len(os.listdir(test_dir)),24)
random_index
# 加载最佳模型
model.load_weights(checkpoint)
# 对测试数据进行预测，保存预测结果
predict_value = model.predict(X_test,verbose=1)
# 剪辑出区间值。
predict_value = predict_value.clip(min=0.005,max=0.995)
# 对随机生成的图片进行预测
preview_image = list()
predict_result = list()
img_name = test_generator.filenames
for index in random_index:
#print(predict_value[index][0])
if predict_value[index] >= 0.5:
predict_result.append("dog {:.2f}%".format(predict_value[index][0] * 100))
else:
predict_result.append("cat {:.2f}%".format((1 - predict_value[index][0]) * 100))
# 图片转换为可用matplotlib 预览的格式
img = cv_read_image(os.path.join(new_test_dir,img_name[index]))
preview_image.append(img)
# 显示随机选取的图片
fig = plt.figure(figsize=(20,10))
for i in range(len(preview_image)):
ax = fig.add_subplot(4,6,i+1,xticks=[],yticks=[])
ax.imshow(preview_image[i])
ax.set_title(predict_result[i])
plt.show()
对项目的思考¶
项目采用的训练环境是aws上的p3.2xargs云服务器。整个项目训练不超过5个小时，总体上还是比较快的。但是在完成项目过程中需要进行多次尝试，多次修改。整个过程可谓漫长而充满乐趣。
深度学习毫无疑问是处理图像的最佳模型，或许可以在后期尝试构建神经网络，通过不断的加深网络来提高精度、使用正则化过拟合、Batch norm 加速网络训练，尝试选择其他优化器，如 adam 目前是比较热门的一个优化器，该优化器具有rmsprop加速度优化、又具有动量。或许自构建的神经网络可以达到不一样的效果。
项目中使用三种模型提取特征向量很快提高了准确率。但需要注意特征向量的组合，组合的顺序不对，预测就会出现极大的误差。同时预测一张图片需要同时使用三个模型提取特征向量，这无疑比较缓慢，比较耗费时间。
需要作出的改进¶
针对目前的项目，个人认为需要作出改进主要有以下几点：
（1）优化项目程序。对于项目中的一些程序和算法做优化处理。
（2）异常图片的清理。项目中仅使用了resnet50、xception 两种模型进行异常数据的检验。共检验出异常数据 184 张。当然其中有部分图片人眼可以预览。但是不排除还有其他异常图片。可加入inception 模型进行检验，或许能检验出更多的异常数据。
项目部署¶
项目使用keras和flask搭建部署一个简单的网页应用。可以通过网页上传一张猫或者狗的彩色图片，预测彩色图片是中猫或狗的类别、以及概率。
项目目录结构：¶
web_app.py --> 应用程序文件。使用py web_app.py 启动服务
config.py --> 为应用的配置文件。可在此配置文件中修改监听端口、训练模型路径、上传图片存储路径等。具体查看文件内说明
dogs_vs_cats_linux.yml --> 搭建环境文件。可使用conda 执行搭建环境
dogs_vs_cats_linux-pip.txt --> 环境中使用的相关依赖库
项目训练的 model 可在此百度网盘上下载（限国内网络）：https://pan.baidu.com/s/1yKbKrmMybfnz04I_1usnFw
github 访问：https://github.com/boyshen/cv-project
启动服务¶
# python web_app.py¶
注意在config.py 文件查看端口。默认端口是8888（可修改），监听网络地址为 0.0.0.0 即所有。
服务启动之后。在浏览器中输入 http://服务器IP地址:端口 即可访问。如：http://192.168.10.22:8888
下图为预测效果图片：
V.参考文献¶
[1] Deep Residual Learning for Image Recognition Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun
[2] Convolutional neural network From Wikipedia, the free encyclopedia
[3] Dogs vs Cats For Udacity (异常值检验)
[4] 深度学习-优化器算法详解
[5] Dogs vs. Cats: Image Classification with Deep Learning using TensorFlow in Python
[6] CatdogNet - Keras Convnet Starter
[7] CNN Architectures : VGG, ResNet, Inception + TL
[8] Dogs vs Cats: Keras Solution
[9] Kaggle猫狗大战准确率Top 2%webapp部署
[10] Keras: 基于python的深度学习